Знания и навыки
для создания и развития продуктов

 

Полезные материалы
о продукте, росте, маркетинге и аналитике

 
A/B-тестирование: что делать, если ваши данные распределены не нормально?
A/B-тестирование: что делать, если ваши данные распределены не нормально?

A/B-тесты — важный инструмент в арсенале продуктовой команды. Это один из немногих способов понять, как изменения в продукте повлияли на поведение пользователей. 

При этом любой человек, который погружается в тему A/B-тестов, сталкивается с двумя противоречивыми утверждениями:

Первое: t-тест — самый популярный критерий для оценки A/B-тестов. 

Второе: t-тест можно применять только на данных, распределенных нормально.

Однако нормально распределенные данные в продуктах встречаются крайне редко.

В таком случае, что же делать, когда наши данные не подчиняются нормальному распределению? Можем ли мы все же полагаться на традиционные статистические методы (в частности, на t-тест), или нужно использовать другие методы, например бутстрап или непараметрические тесты?

В этом материале — ответ на этот вопрос и универсальный алгоритм для подбора подходящего статистического теста для ваших данных.

(далее…)